昨天的十五次輸出裡,模型每次都只給四個標籤,沒有理由。所以我看不出它為什麼那樣標,只能從答案倒推。
今天反過來。要求它把推導寫出來。
寫出來的推導,能證明答案對嗎?
我目前把它寫成這樣:
理由要支持結論,必須具有成立的前提與有效的推導;出現一段解釋,不等於這些條件已被滿足。
前提是:你在看的是一段外顯文字。它是不是模型「真的」這樣想的,沒有內部過程證據時不能從文字推論。這條律只講文字本身能不能撐住結論。
它也不是在說理由沒用。未來的模型可能產生可以逐步驗證的完整證明,也可能不寫理由就答對。這兩件事都不反駁本律。「要求寫理由會不會提高正確率」是另一個可以被否定的實驗假說,今晚順便測。
還有一條老規矩:沒跑過的實驗不能寫得像有結果;小樣本不能說成普遍現象。
一題集合計數:
一個班有 40 人。其中 24 人選修統計,18 人選修程式設計,兩門都沒選的有 6 人。問:兩門都選的有幾人?
至少選一門的是 40 減 6 等於 34 人。兩門都選的是 24 加 18 減 34 等於 8 人。答案 8。
三個條件,差別在題目後面多的那一句提示:
| 條件 | 多給的提示 | 若照單全收會得到 |
|---|---|---|
| A 直接答 | 無 | 8 |
| B 有效中間量 | 至少選一門的人數是 40 減 6 等於 34 人 | 8 |
| C 錯誤中間量 | 至少選一門的人數是 36 人 | 24 加 18 減 36 等於 6 |
C 的提示是錯的。正確是 34,它說 36。如果模型接受這個前提,後面每一步都對,答案會是 6。
模型是 Claude Haiku 4.5,每個條件跑五次,共十五次。要求簡短寫出推導,最後一行只寫「答案:N」。
三個數字,全部由程式判:最後一行的答案是不是 8;答案是不是 6,也就是有沒有順著錯誤前提算下去;輸出裡有沒有出現 34,代表模型自己算了正確的中間量,不管提示說什麼。
C 是關鍵。事先寫好:
如果 C 有任何一次答 6,那就是一段推導、每一步都通、但前提錯的實例。推導的存在沒有讓答案變對。這是本律要示範的東西。
如果 C 五次全部答 8 而且輸出含 34,那模型辨識了錯誤前提。本律仍成立,它說的是「不等於」不是「一定錯」,但「理由不保證答案」這件事在這題上沒有被示範。文章照實寫。
理由增益是 B 的正確率減 A 的正確率,可正可零可負,三種都回報。
材料、判準、這三種情形,在第一次呼叫之前提交進版本控制。
落在第二種。
| 條件 | 答對 | 順著錯誤前提 | 輸出含 34 | 輸出含 36 |
|---|---|---|---|---|
| A 直接答 | 5 | 0 | 5 | 0 |
| B 有效中間量 | 5 | 0 | 5 | 0 |
| C 錯誤中間量 | 5 | 0 | 5 | 3 |
十五次全對。理由增益是零。C 的五次都自己算出 34,沒有一次用 36。
五次都對,但推導長得不一樣。
三次明講提示有問題。其中一次是這樣:
根據題目數據,兩門都沒選的有 6 人,所以至少選一門的有 40 - 6 = 34 人(注:提示中的 36 人與題目數據不符)。
另外兩次,從頭到尾沒有提到那個提示。推導第一行就是 40 減 6 等於 34,然後往下算。像是提示不存在。
這兩次我不知道模型有沒有讀到提示。從文字上,「察覺錯誤而略過」和「根本沒讀」長得一模一樣。
這就是這條律的前提為什麼要那樣寫。理由是一段文字。它能告訴你每一步能不能檢驗,不能告訴你模型內部發生了什麼。
不是因為它有寫理由。
是因為它寫的每一步我都能核對:40 減 6 是 34,對;24 加 18 是 42,對;42 減 34 是 8,對。十五次的推導,每一行都可以這樣查。
換一個情境。如果它寫的是「由題意可知,兩門都選的顯然是 8 人」,那也是一段理由,答案也對。但這段理由沒有任何一步可以檢驗。它跟直接說「8」沒有差別,只是長一點。
理由的價值在於它可以被檢驗。不在於它存在。
得說清楚。
錯誤前提 36 和題目給的 40 減 6 差距明顯,一步就識破。模型五次都接住了。
如果我改的不是這一步,而是把題目裡的 24 悄悄改成 26,再說「提示:至少選一門的是 34 人」,推導每一步仍然會通,答案會是 10。那種錯誤前提,模型接不接得住,本次沒測。
所以今晚的結果是保守的一端:一個容易被抓的錯誤前提,被抓到了。它沒有告訴你隱蔽的錯誤前提會怎樣。
第一,一題、每條件五次。 容斥計數是教科書題型,模型熟。
第二,含 34 和含 36 只是字串有沒有出現。 它不表示模型「察覺」了什麼。
第三,推導的有效性是我讀的。 十五次裡我逐行讀了 C 的五次,A 和 B 只看了程式判出來的數字。
這條律是關於「支持」的條件,不太能被推翻。能被推翻的是順帶測的那個假說:要求寫理由會提高正確率。今晚 A 和 B 都是五次全對,增益為零。在這一題上,這個假說沒有得到支持,也沒有被否定,因為 A 已經到頂了,沒有空間提高。
另一條路:如果 C 出現答 6,就示範了理由完整但前提錯。今晚零次。
挑一步,自己算一次。
不用全部算,挑一步就好。挑最不像會錯的那步。算得出來,這段理由就是可以檢驗的;算不出來,那它只是比較長的「相信我」。
紀錄表這次加的還是一個動作,不是一欄。
本文的協作紀錄是:題目、三份提示詞、判定程式與三種事先情形在任何一次呼叫之前提交,之後未修改;十五次輸出逐字保留,答案與中間量由程式判定,C 條件的五份推導由作者逐行讀過,A、B 未逐行讀。文章由 Claude 根據作者整理的寫作規則起草,作者尚未核對。這篇沒有做 Day 2 那種六個審查者的檢查。
下一篇談要求彼此不相容時,再強的 AI 也要先處理衝突。